這邊想說一下，關於上一篇有講到我利用superagent()來獲得網站資訊，結果抓取失敗。這是因為不一定所有網站都願意其他人隨便沿用自己的東西，所以在網站後台可以讓人設定禁止令之類的，防止他人搜索。
那要如何知道網站是否同意進行搜索，可以在網址根目錄後加上robots.txt就會看到文字檔紀錄，像是用戶代理、禁止目錄…等等。下面是我上一篇失敗網站的文字檔。

總而言之，就是禁止了很多東西，導致我抓取失敗了!
之後我稍微補充下robots.txt的基本應用吧。

常見用詞：

• User-agent => 對於那些搜索引擎生效
• Disallow => 禁止進入的目錄，需指名路徑
• Sitemap => 網站內sitemap檔案位置，須完整路徑

常見應用：

1. 允許所有引擎檢索
   User-agent：*
   Disallow：
2. 拒絕所有引擎檢索
   User-agent：*
   Disallow：/
3. 拒絕所有引擎檢索/users/下所有內容
   User-agent：*
   Disallow：/users/
4. 拒絕Google搜圖檢索/images/下所有內容
   User-agent：Googlebot-image
   Disallow：/images/